Năm 717, Tajihi no Agatamori (多治比縣守, Đa Trì Bỉ Huyền Thủ) làm khiển Đường sứ, bằng thuyền từ cảng Namba[3] tới kinh đô nhà Đường tại Trường An[4], Abe no Nakamaro được tuyển làm khiển Đường lưu học sinh, cùng đi còn có một lưu học sinh nổi tiếng khác, sau này trở thành hữu đại thần của Nhật Bản là Kibi no Makibi (吉備 真備, Cát Bị Chân Bị). Tổng cộng đoàn đi bao gồm 4 chiếc thuyền với 557 người vượt qua biển khơi mênh mông, nhằm hướng tây tiến về biển Hoa Đông, tại Dương Châu (có thuyết cho là Minh Châu) rời thuyền lên bộ. Sau một thời gian học tập chịu nhiều đói rét và gian khổ, Abe no Nakamaro tham gia kỳ thi của nhà Đường và đỗ tiến sĩ.

Năm 725 ông nhậm chức tả xuân phường tư kinh cục giáo thư (phụ trách chỉnh lý điển tịch, hàm chánh cửu phẩm hạ) tại Lạc Dương, năm 728 đổi làm tả thập di (hàm tòng bát phẩm thượng), năm 731 nhậm chức tả bổ khuyết (hàm tòng thất phẩm thượng) tại môn hạ tỉnh. Do là người có tài đức, văn thơ hay, được Đường Huyền Tông thưởng thức, nên sau đó ông được giao làm bí thư giám, ban cho tên gọi là Triều Hoành, hầu hạ hàng ngày bên cạnh vua. Ông là bạn bè văn thơ với Lý Bạch, Vương Duy, Trữ Quang Hi, Bao Cát.